Boosting

Boosting es un meta-algoritmo de aprendizaje automático que reduce el sesgo y varianza en un contexto de aprendizaje supervisado.^[1]​^[2]​ Boosting está basado en el cuestionamiento planteado por Kearns y Valiant (1988, 1989): ¿Puede un conjunto de clasificadores débiles crear un clasificador robusto?^[3]​^[4]​ Un clasificador débil está definido para ser un clasificador el cual está solo débilmente correlacionado con la clasificación correcta (el mismo clasifica mejor que un clasificador aleatorio). En contraste, un clasificador robusto es un clasificador que tiene un mejor desempeño que el de un clasificador débil, ya que sus clasificaciones se aproximan más a las verdaderas clases.

En 1990 Robert Schapire responde afirmativamente al cuestionamiento de Kearns y Valiant en un artículo, dicha respuesta tuvo repercusiones significativas en el aprendizaje automático y la estadística, esta potente influencia llevó al desarrollo del boosting.^[5]​^[6]​

Cuando fue introducido por primera vez, el boosting refería simplemente al problema de convertir un clasificador débil en uno robusto. «Informalmente, el problema pregunta si un algoritmo de aprendizaje eficaz […] que produce una hipótesis cuyo rendimiento es sólo ligeramente mejor que aleatorio adivinando [p. ej. un estudiante débil] implica la existencia de un algoritmo eficaz que produce una hipótesis de exactitud arbitraria [i.e. un estudiante fuerte]». Los algoritmos que alcanzan a producir dichas hipótesis pronto fueron denominados boosting.

1. ↑ Leo Breiman (1996). «BIAS, VARIANCE, AND ARCING CLASSIFIERS». TECHNICAL REPORT. Archivado desde el original el 19 de enero de 2015. Consultado el 19 de enero de 2015. «Arcing [Boosting] is more successful than bagging in variance reduction». 
2. ↑ Zhou Zhi-Hua (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. p. 23. ISBN 978-1439830031. «The term boosting refers to a family of algorithms that are able to convert weak learners to strong learners». 
3. ↑ Michael Kearns(1988); Thoughts on Hypothesis Boosting, Unpublished manuscript (Machine Learning class project, December 1988)
4. ↑ Michael Kearns; Leslie Valiant (1989). «Crytographic limitations on learning Boolean formulae and finite automata». Symposium on Theory of computing (ACM) 21: 433-444. doi:10.1145/73007.73049. Consultado el 18 de enero de 2015. 
5. ↑ Schapire, Robert E. (1990). «The Strength of Weak Learnability». Machine Learning (Boston, MA: Kluwer Academic Publishers) 5 (2): 197-227. doi:10.1007/bf00116037. citeseerx: 10.1.1.20.723. Archivado desde el original el 10 de octubre de 2012. 
6. ↑ Leo Breiman (1998). «Arcing classifier (with discussion and a rejoinder by the author)». Ann. Stat. 26 (3): 801-849. doi:10.1214/aos/1024691079. Consultado el 17 de noviembre de 2015. «Schapire (1990) proved that boosting is possible. (Page 823)».